À l'ère numérique actuelle, la sécurité des enfants en ligne est de plus en plus préoccupante. Récemment, Roblox, Discord, OpenAI et Google ont lancé conjointement une organisation à but non lucratif nommée ROOST (Robust Open Online Safety Tools - Outils Robustes et Ouverts pour la Sécurité en Ligne), visant à construire une infrastructure de sécurité évolutive et interconnectée pour l'ère de l'IA. L'objectif de cette nouvelle organisation est de fournir des outils de sécurité open source aux institutions publiques et privées pour les aider à renforcer la protection sur leurs propres plateformes, en accordant une attention particulière à la sécurité des enfants. Note sur l'image : Image générée par IA

Google a lancé une série de mesures de sécurité en ligne visant à supprimer les deepfakes de ses résultats de recherche, en particulier ceux impliquant des images explicites non consensuelles. Lorsque les utilisateurs demandent le retrait de ce type de contenu, le système ne traite pas seulement le contenu spécifique, mais filtre également les résultats similaires, voire supprime les images en double. Pour empêcher ce type de contenu d'apparaître en bonne place dans les résultats de recherche, Google a ajusté son algorithme de classement, privilégiant pour les recherches d'images deepfakes réalistes un contenu de haute qualité et non explicite, comme les reportages d'actualité. Les sites Web contenant un grand nombre d'images explicites falsifiées et supprimées verront leur classement dans les résultats de recherche diminuer.

Les nouvelles normes de sécurité en ligne publiées par l'Australie suscitent des inquiétudes chez les entreprises technologiques. Microsoft, Meta et d'autres craignent que ces normes puissent affaiblir les protections des systèmes d'IA. Ces nouvelles normes ciblent l'intelligence artificielle générative et portent sur la sécurité des enfants et les contenus terroristes. Les entreprises technologiques estiment que ces normes pourraient limiter l'entraînement de l'IA et affecter la précision de la modération des contenus.

Le gouvernement britannique propose un nouveau projet de loi sur la sécurité en ligne qui prévoit d’utiliser une technologie basée sur l’intelligence artificielle pour déterminer si les utilisateurs ont atteint l’âge légal pour visionner du contenu pornographique. Les méthodes envisagées comprennent l’estimation de l’âge à partir de photos, la vérification d’identité par photo, la vérification de crédit et l’open banking. Des organismes d’observation et des think tanks favorables au libre marché s’inquiètent de la vérification obligatoire de l’âge, estimant qu’elle pourrait menacer la vie privée des utilisateurs et accroître le risque de fuite de données sensibles. Conformément à la nouvelle loi sur la sécurité en ligne, les sites web et les applications qui présentent ou publient du contenu pornographique doivent garantir que les mineurs n’y ont pas accès.